#爬虫概念 、爬虫分类 、 爬虫基本流程、请求头
'''
1、网络请求
#https://www.baidu.com  - - url 统一资源定位符

#请求过程：
客户端：指web浏览器向服务器发送请求

#请求--四部分：
1.请求网址 --request url
2.请求方法 --request methods
3.请求头   --request header  (爬虫程序伪装成正常用户)
4.请求体   --request body

#F12  打开浏览器，在地址栏中按F12，可查看请求响应
#谷歌浏览器。查看请求响应，鼠标右键检查即可

'''
#爬虫的概念
'''
爬虫--模拟浏览器发送请求，获取响应。
按照一定的规则，自动获取互联网上数据的程序，称为爬虫。

只能获取客户端所展示出来的数据

特点：
知识碎片化
写爬虫的时候，会面对各种各样的网站，每个网站都不同
重点是分析网站的结构、响应方式等

模拟客户端，操作者是正常的用户
作为爬虫身份，服务器不欢迎我们的，尽可能的去模拟正常用户发送请求

爬虫 ---模拟客户端访问，抓取数据
反爬 ---保护重要数据，组织恶意网络攻击
反反爬--针对反爬做的措施
'''

#爬虫的作用
'''
1.数据采集
2.软件测试
3.抢票
4.网络安全
5.web漏洞扫描
6.网络投票
'''

#爬虫的分类
'''
根据爬取网站的数据，可分为：
1.通用爬虫   （如搜索引擎）
2.聚焦爬虫   （如抢票程序）主要学习对象

根据数据获取目的，可分为：
1.功能性爬虫   --不获取数据，只为实现特定功能（抢票、投票、短信轰炸等）
2.数据增量爬虫 --获取数据用于后续分析


'''

#爬虫基本流程
'''
流程：url(网址资源定位符)-->对url发送网络请求，获取网络请求的响应-->解析响应，提取数据-->保存数据

1.确认目标：目标url:www.baidu.com
2.发送请求：发送网络请求，获取特定服务端的响应
3.提取数据：从响应中提取特定的数据jsonpath/xpath/re
4.保存数据：本地(html、json、txt) 、数据库

获取到的响应中，有可能会提取到还需要继续发送请求的url,
可以拿着解析到的url继续发送请求。

# robots协议（约定俗成的协议，并没有强制性）

'''
